Hiện chưa rõ tên gọi Nam Du xuất phát từ đâu. Có nguồn cho rằng tên gọi này đã có từ thời vua Gia Long, nhưng nguồn khác lại cho rằng tên "Nam Du" là từ tên "Nam Dự" (南嶼, nghĩa là "đảo phía nam") do người Pháp ghi theo cách gọi của các cụ đồ Nho giáo thời xưa.[2]

Trong dân gian lưu truyền các câu sau:

Hòn Mấu đâm thấu Đô NaiĐô Nai quay sang Bờ ĐậpBờ Đập tấp lại hòn LòHòn Lò mò đến hòn NgangHòn Ngang tạt sang hòn ĐụngHòn Đụng cụng vào hòn DầuHòn Dầu nằm chầu Bỏ ÁoBỏ Áo tháo ngược hòn ÔngHòn Ông dông đến hòn DâmHòn Dâm đâm thẳng hòn TreHòn Tre te đến hòn MốcHòn Mốc xốc lại hòn NhànHòn Nhàn tràn thẳng hòn HànHòn Hàn quàng cổ ba hòn NồmHòn Nồm chồm đại lên hòn KhôHòn Khô vô bãi ChệtBãi Chệt lết lên hòn Lớn...[2]

Năm 1822, đại sứ nước Anh John Crawfurd trên hành trình đi sứ Xiêm và Cochin China [Việt Nam] có lẽ đã ghé thăm và khám phá quần đảo Nam Du.[4] Ngày 12, lúc 6 giờ sáng, ông gặp một quần đảo, trong đó có một đảo lớn, dài khoảng 4 dặm, có khoảng 20 đảo nhỏ bao xung quanh, tên là Hon-co-thron [hòn Củ Tron] hoặc Hon-co-tre [Hòn Cò Tre]. Tên gọi này theo ông là do tiếng An Nam hoặc Cochin China. Ông cũng lên khám phá một số đảo.[4]